แก้วขวัญ วัชโรทัย เป็นบุตรของพระยาอนุรักษ์ราชมณเฑียร (ก๊าด วัชโรทัย) กับท่านผู้หญิงพัว อนุรักษ์ราชมณเฑียร เกิดเมื่อวันที่ 3 กันยายน พ.ศ. 2471 มีฝาแฝดหนึ่งคน คือขวัญแก้ว วัชโรทัย ทั้งสองมีศักดิ์เป็นพระภาคิไนย (ลูกของพี่สาว) ในสมเด็จพระนางเจ้าอินทรศักดิศจี พระวรราชชายา และเป็นหลานน้าของพระสุจริตสุดา (เปรื่อง สุจริตกุล) “แก้วขวัญ” และ “ขวัญแก้ว” เป็นชื่อที่ได้รับพระราชทานจากพระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัว

แก้วขวัญสมรสกับท่านผู้หญิงเพ็ญศรี วัชโรทัย (เดิม หม่อมหลวงเพ็ญศรี ศรีธวัช) มีบุตร-ธิดา 3 คน ดังนี้

• รัตนาภา เทวกุล ณ อยุธยา สมรสกับพลเอก หม่อมหลวงทศนวอมร เทวกุล (อดีตรองสมุหราชองครักษ์)
• รัตนาวุธ วัชโรทัย (ประจำสำนักพระราชวังพิเศษ)
• วัชรกิติ วัชโรทัย (ประจำสำนักพระราชวังพิเศษ, อดีตกรรมการบริษัทปตท.)